Trước khi triều đình Huế buộc phải ký Hòa ước Quý Mùi, 1883, người Pháp đã thành lập Quân đoàn viễn chinh Bắc Kỳ (corps expéditionnaire du Tonkin) để xâm lược Bắc Kỳ. Các tướng chỉ huy Quân đoàn viễn chinh Bắc Kỳ đồng thời cũng là Thống soái Bắc Kỳ. Năm 1885, tướng Philippe Marie André Roussel de Courcy được cử sang Việt Nam với quyền hạn kiêm quản cả Bắc và Trung Kỳ. Năm 1886, Paul Bert, một quan chức dân sự được cử sang với chức vụ "Tổng Công sứ Trung – Bắc Kỳ" (Résident supérieur du Tonkin), gọi tắt là Tổng sứ, thay mặt cho chính phủ Pháp chủ trì mọi công việc đối ngoại của triều đình Việt Nam và thường được gọi là "Toàn quyền lưỡng kỳ" hoặc "Toàn quyền Trung – Bắc Kỳ". Dưới quyền trực tiếp của Tổng sứ là một hệ thống quan lại thực dân Pháp giúp việc: đứng đầu Trung Kỳ là Khâm sứ Trung Kỳ (Résident supérieur de l’Annam) và đứng đầu mỗi tỉnh ở cả Bắc Kỳ và Trung Kỳ là Công sứ (Résident) và Phó sứ (Résident adjoint).

Năm 1887, chức vụ Toàn quyền Đông Dương được thành lập, nắm toàn quyền cai quản cả Bắc - Trung - Nam Kỳ. Năm 1889, chức vụ Tổng sứ bị bãi bỏ, chức vụ Thống sứ Bắc Kỳ (Résident général du Tonkin), còn được gọi là Tổng trú sứ, được đặt ra để đảm nhiệm các công việc cho chính phủ Pháp bên cạnh Nam triều.